Visual Concept Detection in Images and Videos

The rapidly increasing proliferation of digital images and videos leads to a situation where content-based search in multimedia databases becomes more and more important. A prerequisite for effective image and video search is to analyze and index media content automatically. Current approaches in the field of image and video retrieval focus on semantic concepts serving as an intermediate description to bridge the “semantic gap” between the data representation and the human interpretation. Due to the large complexity and variability in the appearance of visual concepts, the detection of arbitrary concepts represents a very challenging task. In this thesis, the following aspects of visual concept detection systems are addressed: First, enhanced local descriptors for mid-level feature coding are presented. Based on the observation that scale-invariant feature transform (SIFT) descriptors with different spatial extents yield large performance differences, a novel concept detection system is proposed that combines feature representations for different spatial extents using multiple kernel learning (MKL). A multi-modal video concept detection system is presented that relies on Bag-of-Words representations for visual and in particular for audio features. Furthermore, a method for the SIFT-based integration of color information, called color moment SIFT, is introduced. Comparative experimental results demonstrate the superior performance of the proposed systems on the Mediamill and on the VOC Challenge. Second, an approach is presented that systematically utilizes results of object detectors. Novel object-based features are generated based on object detection results using different pooling strategies. For videos, detection results are assembled to object sequences and a shot-based confidence score as well as further features, such as position, frame coverage or movement, are computed for each object class. These features are used as additional input for the support vector machine (SVM)-based concept classifiers. Thus, other related concepts can also profit from object-based features. Extensive experiments on the Mediamill, VOC and TRECVid Challenge show significant improvements in terms of retrieval performance not only for the object classes, but also in particular for a large number of indirectly related concepts. Moreover, it has been demonstrated that a few object-based features are beneficial for a large number of concept classes. On the VOC Challenge, the additional use of object-based features led to a superior performance for the image classification task of 63.8% mean average precision (AP). Furthermore, the generalization capabilities of concept models are investigated. It is shown that different source and target domains lead to a severe loss in concept detection performance. In these cross-domain settings, object-based features achieve a significant performance improvement. Since it is inefficient to run a large number of single-class object detectors, it is additionally demonstrated how a concurrent multi-class object detection system can be constructed to speed up the detection of many object classes in images. Third, a novel, purely web-supervised learning approach for modeling heterogeneous concept classes in images is proposed. Tags and annotations of multimedia data in the WWW are rich sources of information that can be employed for learning visual concepts. The presented approach is aimed at continuous long-term learning of appearance models and improving these models periodically. For this purpose, several components have been developed: a crawling component, a multi-modal clustering component for spam detection and subclass identification, a novel learning component, called “random savanna”, a validation component, an updating component, and a scalability manager. Only a single word describing the visual concept is required to initiate the learning process. Experimental results demonstrate the capabilities of the individual components. Finally, a generic concept detection system is applied to support interdisciplinary research efforts in the field of psychology and media science. The psychological research question addressed in the field of behavioral sciences is, whether and how playing violent content in computer games may induce aggression. Therefore, novel semantic concepts most notably “violence” are detected in computer game videos to gain insights into the interrelationship of violent game events and the brain activity of a player. Experimental results demonstrate the excellent performance of the proposed automatic concept detection approach for such interdisciplinary research

Förderansätze im Lesen mit LEVUMI

Das Lehrerhandbuch „Förderansätze im LESEN mit LEVUMI“ verknüpft die Anwendung der Lernverlaufsdiagnostik mit konkreten Fördermaßnahmen. Im Mittelpunkt steht immer der Lernerfolg der Leseanfängerinnen und Leseanfängern. Es ist wichtig, dass Förderungen und Unterstützungen im Unterricht an die individuellen Förderungen angepasst sind. Daher wird der Schriftspracherwerb, der Kieler Leseaufbau und typische Probleme im Leseerwerb dargestellt. Einzelne Förderbausteine werden erklärt und anhand einzelner Arbeitsblätter dargestellt. Dieses Handbuch ergänzt das „LEVUMI Lehrerhandbuch“ (Gebhardt, Diehl & Mühling, 2016), welches eine konkrete Einführung und Anwendungsbeschreibung in die Lernverlaufsmessung mit LEVUMI enthält

Formative Diagnostik durch die Onlineplattform Levumi

Das rechtzeitig Erkennen von Lernschwierigkeiten stellt eine große Herausforderung im Schulunterricht dar. Insbesondere im inklusiven Unterricht mit Menschen mit Behinderung ist dies der Fall. Hier muss der Unterricht individuell angepasst werden. Durch eine Lernverlaufsmessung können individuelle Förderungen geplant und ihr Erfolg überwacht werden. Dieser Artikel stellt eine Onlineplattform vor, die ein solches Konzept im Unterricht für Lehrkräfte umsetzbar macht und dabei auch einen Austausch zwischen der empirischen Bildungsforschung und dem Alltag der Schulpraxis ermöglicht

Progress Monitoring in Primary Education using Levumi: A Case Study

We present, as a case study, the web-based platform Levumi that enables teachers to easily monitor learning progressions of children with a focus on elementary skills in reading, writing, and mathematics. Curriculumbased measurements are used that can be administered economically in short time and - in many parts - in parallel for multiple children. The system is built around exchanging data between schools and educational research, such that data with high ecological validity can be collected anonymously in order to gain insights into learning processes and in turn offer improved tests for teachers. For this case study, the acceptance and use of the platform over the last years is evaluated with a focus on tests for reading abilities. The results show how that many users are integrating the system in their daily teaching, learning progressions can be assessed and that the data is even usable for validation purposes

Graphen der Lernverlaufsdiagnostik interpretieren und anwenden - Leseförderung mit der Onlineverlaufsmessung Levumi

Viele Schüler mit sonderpädagogischem Förderbedarf entwickeln Schwierigkeiten im sprachlichen Bereich. Dies hat zur Folge, dass insbesondere der Leseerwerb einer pädagogischen Aufbereitung bedarf. In dieser pädagogischen Arbeit bietet der problemlösende Ansatz der Lernverlaufsdiagnostik (engl. Curriculum- Based Measurement) Lehrkrä%en eine Unterstützung bei der Überprüfung der Effektivität ihres Unterrichts durch kurze und leicht handhabbare Tests. Diese Unterstützung kann durch weiterführende Materialien (z. B. Interpretationshilfen, Fördermaterialien) bestärkt werden. Für eine erfolgreiche Etablierung der Lernverlaufsdiagnostik und der damit verbundenen computergestützten Testsysteme in der Praxis müssen die aus dem Schulsystem bedingten Anforderungen berücksichtigt werden. Dieser Beitrag thematisiert literaturbasiert die Chancen und Grenzen bei der Implementation der Lernverlaufsdiagnostik in der pädagogischen Praxis. Dafür werden digitale Testsysteme, die Perspektive der Lehrkrä%e sowie Schwierigkeiten bei der Interpretation von Lernverlaufsgraphen fokussiert betrachtet. Als Praxisbeispiel wird das Angebot der kostenlosen Onlineplattform Levumi (www.levumi.de), ihre Lernverlaufstests im Bereich Lesen, die Interpretation der Klassen- und Individualgraphen und Fördermaterialien vorgestellt. Damit sich der Ansatz der Lernverlaufsdiagnostik in Deutschland im inklusiven Schulsystem etablieren kann, müssen Barrieren durch Kosten oder einen fehlenden technischen Support abgebaut werden. Zusätzlich können adaptive Testsysteme die Leseförderung durch automatisierte Empfehlungen von Fördermaterialien, schülergerechte Rückmeldungen und Analysen der Kompetenzpro+le der Schüler den Unterricht bereichern

Die Bearbeitungsgeschwindigkeit von Kindern mit Lernschwierigkeiten als Grundlage für die Testentwicklung von Lernverlaufsdiagnostik

Lernverlaufsdiagnostik soll reliabel und möglichst kurz sein, m im Unterricht ökonomisch einsetzbar zu sein. Ziel eines kurzen Tests ist es, dass Schülerinnen und Schüler mit Lernschwierigkeiten im Testzeitraum zur Informationsgewinnung ausreichend Items bearbeiten. Die Bearbeitungsgeschwindigkeit ist hierfür ausschlaggebend. Der vorliegende Beitrag untersucht die Bearbeitungsgeschwindigkeit und -genauigkeit auf Item- und Testebene der – als Speedtests konstruierten – Lesetests der Onlineplattform Levumi.de von Schülerinnen und Schülern mit und ohne sonderpädagogischen Unterstützungsbedarf. Die Ergebnisse zeigen, dass Schülerinnen und Schüler mit Unterstützungsbedarf die Items im Schnitt langsamer und fehlerhafter bearbeiten als Schülerinnen und Schüler ohne Unterstützungsbedarf trotz eines höheren Durchschnittsalters zum Testzeitpunkt. Es wird diskutiert, welche Schlüsse auf Grundlage der Bearbeitungsgeschwindigkeit gezogen werden können und inwiefern sich „gute Testergebnisse“ als Richtwerte für Lehrkräfte ableiten lassen. Progress monitoring tests must be as shortas possible in order to be used economically in the classroom. To ensure reliable measurement, it is necessary that students with learning difficulties are able to complete an adequate number of items during the test period. This article describes an approach based on the average processing speed per item on the online platform Levumi in reading. Students with special needs complete the speed-tests slower and make more mistakes despite a higher average age at the time of testing. The conclusions that can be drawn on the basis of the processing speed and the extent to which guidelines for defining a good test result can be derived are discussed

Using Theory-Based Test Construction to Develop a New Curriculum-Based Measurement for Sentence Reading Comprehension

Reading comprehension at sentence level is a core component in the students' comprehension development, but there is a lack of comprehension assessments at the sentence level, which respect the theory of reading comprehension. In this article, a new web-based sentence-comprehension assessment for German primary school students is developed and evaluated using a curriculum-based measurement (CBM) framework. The test focuses on sentence level reading comprehension as an intermediary between word and text comprehension. The construction builds upon the theory of reading comprehension using CBM-Maze techniques. It is consistent on all tasks and contains different syntactic and semantic structures within the items. This paper presents the test development, a description of the item performance, an analysis of its factor structure, and tests of measurement invariance, and group comparisons (i.e., across gender, immigration background, over two measurement points, and the presence of special educational needs; SEN). Third grade students (n = 761) with and without SEN finished two CBM tests over 3 weeks. Results reveal that items had good technical adequacy, the constructed test is unidimensional, and it is valid for students both with and without SEN. Similarly, it is valid for both sexes, and results are valid across both measurement points. We discuss our method for creating a unidimensional test based on multiple item difficulties and make recommendations for future test construction

Levumi Handbuch

Datenbasierte Förderentscheidungen zu treffen ist insbesondere für heterogenen Lerngruppen eine wichtige Voraussetzung für eine wirksame Förderung. Die Onlineplattform Levumi ermöglicht es Screenings, Lernverlaufsdiagnostik und Übungen effizient im Klassenzimmer oder im Einzelsetting durchzuführen. Levumi bietet Tests und Fördermaterial an, mit welchen die Lehrkräfte den Lernzuwachs der Kinder einzeln in Basiskompetenzen oder bei schulrele-vanten Fertigkeiten (Skills) feststellen können und qualitative und quantitative Auswertungen bekommen. Lehrkräfte erhalten so eine formative Rückmeldung zur Wirkung ihres aktuellen Unterrichts und können besser auf die individuellen Bedarfe innerhalb der Klasse eingehen. Die Onlineplattform Levumi wurde 2015 gegründet und verbindet Schulpraxis und Bildungs-forschung. Die Benutzung der Plattform ist kostenfrei. Das System wird auf Rechnern des Leib-niz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN) betrieben von Prof. Dr. Andreas Mühling (IPN Kiel & Universität Kiel) und Prof. Dr. Markus Gebhardt (LMU München) betrieben und verantwortet. In diesem Handbuch finden Sie zunächst eine kurze theoretische Einführung in die Lernver-laufsdiagnostik sowie eine Anleitung mit praktischen Hinweisen zur Nutzung von Levumi. Das Buch richtet sich an alle Personen in Bildungseinrichtungen sowie an Studierende des Lehr-amts und der Sonderpädagogik